本节主要讲计算机的编码存储格式和相应的变换。
## 机器数和真值
先来说两个概念：
- 机器数：在计算机中的二进制表示形式，是可以表示符号的，比如正负数
- 真值： 是计算机内真正的那个值，因为一般有一个`bit`表示符号位，所以看到的和实际表示并不一致
https://blog.csdn.net/qq_48486897/article/details/106653164
# 计算机所有存储都是补码，得到结果也是补码
a = 3
b = 5
print("3&b = {0}".format(a&b))
print("-1 & -2 = {0}".format(-1&-2))
print("-2 & 6 = {0}".format(-2 & 6))
# 位运算在乘除法中的应用
print(" 1x2={0}".format(1<<1))
print(" 1x16={0}".format(1<<4))
print(" -10x4={0}".format(-10<<2))
print(" -40/4={0}".format(-40>>2))
# 二进制表示法
print("10={0}".format(bin(10)))
print("-10={0}".format(bin(-10)))
# 2. 原码
- 符号位加上真值的绝对值
```angularjs
(+1)原码 = 0000 0001
(-1)原码 = 1000 0001
八位取值范围是[1111 1111 - 0111 1111] = [-127 - 127]
```
# 3. 反码
- 正数的反码是其本身
- 负数的反码是在原码的基础上，符号位不变，其余各位取反
```angularjs
[+1] = [0000 0001]原码 = [0000 0001]反码
[-1] = [1000 0001]原码 = [1111 1110]反码
```
# 4. 补码
- 正数的补码是本身
- 负数的补码是原码基础上，符号位不变，各位取反，然后加1，即反码+1
# 5. 移码
- 补码的符号位取反
# 5. 为什么使用
- 1-1的问题
```angularjs
(1 - 1)原码表示 = 1 + (-1) = [00000001]原 + [10000001]原 = [10000010]原 = -2
(1 - 1)反码表示 = 1 + (-1) = [0000 0001]原 + [1000 0001]原= [0000 0001]反 + [1111 1110]反 = [1111 1111]反 = [1000 0000]原 = -0
(1 - 1)补码表示 = 1 + (-1) = [0000 0001]原 + [1000 0001]原 = [0000 0001]补 + [1111 1111]补 = [0000 0000]补=[0000 0000]原
(-1) + (-127) = [1000 0001]原 + [1111 1111]原 = [1111 1111]补 + [1000 0001]补 = [1000 0000]补
```
- -128只是一个表示方法，是-0表示的-128，不是计算出来的，计算出来的是错误的，
```angularjs
[1000 0000]补码 = [0000 0000]原码 = 错误
```
- 补码，修复了0的两个表示方法带来的问题，还可以表示一个最低位，所以八位二进制表示范围是[-128,127]
# 编码问题
- 为什么需要编码
- 计算机本质上只能表示二进制
- 如何用一长串二进制表示复杂的信息
- 编码简史
- 二进制：
- 数字->字符->数字
- 'a' -> 97 编码和解码
- 第一阶段： ASCII
- 第二阶段：百花齐放，GB2312,GBK, BIG5 Latin1, ISO-8859-1, JIS, ANSI...
- Latin1(ISO-8859-1)
- 中国GBxxx
- 韩国台湾Big5
- 日本JIS
- ANSI-MBCS(Muilti-Bytes Charecter Set，多字节字符集)
- Unicode+ISO
# 编码表示法
- ASCII-American Standard Code for Information Interchange
- 所有的控制字符(比如CR回车、DEL删除等)编码在0-31范围以及127中。
- 把所有的标点符号，英文大小写全部放在32-126范围中。
- 防止以后出现需要补充的情况，把128-255位这么多位置留出来，
- 0xxxx xxxx， 高位为0
- Latin1
- 0-127的所有位置不动，那么可以兼容ASCII，二进制位0xxx xxxx
- 128-255位置全部用完，二进制位1xxx xxxx
- 128-159之间为控制字符，
- 160-255位文字符号，
- 其中包括了西欧语言、希腊语、泰语、阿拉伯语、希伯来语
- 欧元符号
- GBXXXXXXXXX
- GB2312
- 如果一个字节中第一位为0，那么这就是一个ASCII字符。
-如果一个字节中第一位为1，那么这个是汉字，认定需要2个字节才表示一个编码的文字。
- 这个码表中包含汉字6763个和非汉字图形字符682个。
- 还有很多的空间没有用到，索性全部预留了吧。
- 0xxxxxxx：表示为ASCII字符
-1xxxxxxx 1xxxxxxx：表示为汉字
- GBK
- 在GB2312基础上添加汉字
- 兼任GB2312和ASCII
- 0xxxxxxx：表示为ASCII字符
- 1xxxxxxx xxxxxxxx：表示为汉字
- GB18030
- 2/4位混编
- Unicode
- 只是一个码表，具体实现没有规定
- 0-0x10FFFF来映射这些字符，最多可以容纳1114112个字符
- 中文的编码范围为4E00-9FCF，其中9FC4-9FCF之间的区间没有使用
- 上述区间全部是汉字，不包含全角字符，不包含特殊文字
- UTF=UnicodeTransformationFormat
- UTF-8
0x0000~0x007F (0 ~ 127) 1字节 0xxxxxxx
0x0080~0x07FF(128 ~ 2047) 110xxxxx 10xxxxxx
0x0800~FFFF(2048 ~ 65535) 3字节 1110xxxx 10xxxxxx 10xxxxxx
0x10000~1FFFFFF(65536 ~ 2097152) 4字节 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
0x2000000~0x3FFFFFF 5字节 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
0x4000000~0x7FFFFFFF 6字节 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
- UTF-16, 32
- UTF-16是早期Unicode遗留产物
- UTF-32浪费空间
- UCS-2
- UCS=UniversalCharacterSet,通用字符集
- UCS-2与Unicode相同
- 采用2个字节，定长的表示每一个字符，所以总计可以表示2^16个字符
- UCS-4
- 第一个字节：表示组（group），最高位为0，则有128个。
- 第二个字节：表示平面（plane），256个。
- 第三个字节：表示行（row），256个。
- 第四个字节：表示码位（cell），256个
- 如果UCS-4前两个字节为0， 则就是CUS-2
# 概念解释
- 大尾(BigEndian) 小尾(LittleEndian)
- "汉" -> 6C49
- 6C49 -> BigEndian
- 496C -> LittleEndian
- BOM
- UTF-8 无字节顺序问题
- UTF-16会出现问题：
- "奎" -> 594E
- "乙" -> 4E59
- BOM-ByteOrderMark
- "ZERO WIDTH NO-BREAK SPACE" -> FEFF, 在UCS中不存在
- FEFF->BigEndian
- FFFE->LittleEndian
- UTF-8 用来表示编码， FEFF的UTF-8编码是EF BB BF, 用来表示此后编码是UTF-8编码
# Python的编码问题
- str
- bytes
- bytearray
>>> b = bytes.fromhex('E4 B8 AD')
>>> b
b'\xe4\xb8\xad'
>>> b.decode('utf-8')
'中'
>>> str(b)
"b'\\xe4\\xb8\\xad'"
>>> ord('A')
65
>>> ord('中')
20013
>>> chr(65)
'A'
>>> chr(20013)
'中'
- len的单位是字符，不是字节
- python文件默认utf-8编码，如果特殊需要，需要声明
- 放在第一行，或者第二行
- ```# ‐*‐ coding: windows‐1252 ‐*‐```
- 读写文件默认utf-8, 可以指定
- code point方式比较字符串，可能会带来问题
- 重音符号的表示
- 使用 unicodedata.normalize 函数
- Python源码中出现了解码错误，那么会产生SyntaxError异常
- 其他情况下，如果发现编码解码错误，那么会产生UnicodeEncodeError, UnicodeDecodeError异常
# 参考资料
- https://www.cnblogs.com/jessonluo/p/4800331.html
- https://blog.csdn.net/xuejianhui/article/details/52576771
- http://tools.jb51.net/table/gb2312
-